Try Before You Evolve: Ranking-Scored Trials for Recursive Self-Improvement of Recommender Systems
先试后演进：基于排名评分短试炼的推荐系统递归自改进
🧭 推荐系统递归自改进 · LLM 代码进化 ★ 深度解读
University of Science and Technology of China
RecRSI 用短训练+probe全排序NDCG@10试炼筛选LLM候选训练编辑，再full retrain最优编辑，大幅提升自进化效率与效果
📌 工作参考价值（4 点）
- 在 LLM 改写训练 recipe / pipeline 的自进化流程中，不要逐条 blind full retrain；让 LLM 生成 K=3 个覆盖 loss、sampler、optimizer、architecture 的候选 edit，先做 short trial：从同一初始化训练前 15% steps，用 probe 用户的 full-ranking NDCG@10 打分，再只 full retrain 最高分 edit。
- 必须做用户切分隔离：probe users 用于 early stopping 和 trial 选择，select users 用于 promote 决策，Test 只在最终看一次；避免反复比较把验证集选到过拟合。
- 当候选修改了 loss / negative sampler / optimizer 时，训练 loss 尺度不可跨候选比较；要用不受训练目标影响的真实业务核心指标（如 NDCG/GAUC）做 early signal，这条对电商/广告 auto-tuning 同样成立。
- 把 parent recipe 的 trial 分数作为 reference：如果所有候选 trial 都不超过 parent，可以跳过本轮 full retrain；论文中可省下 5/7 次未 promote 的 retraining。静态检查 + smoke test 先过滤不能跑、可能改评测逻辑的 edit。